Duy Quang có một sự nghiệp thuận lợi với sự dẫn dắt của người cha là nhạc sĩ Phạm Duy. Ở ngoài đời, ông được các đồng nghiệp đánh giá là dễ mến và hài hước, nhưng về chuyện tình duyên, ông không được hạnh phúc[5][7]. Tình yêu đầu đời và được biết đến nhiều nhất của ông là với ca sĩ Julie Quang, từng cùng ông là một cặp tình nhân lý tưởng trên sân khấu từ trước 1975. Thời kỳ ở Mỹ, hai người đã trở thành vợ chồng tuy không hôn thú[7], có với nhau một người con gái (Phạm Lylan)[7]. Tuy nhiên cặp đôi sớm đến hồi chia cắt, theo Duy Quang thì do khi đó ông còn quá trẻ, chẳng có kinh nghiệm trong đời.[6] Hai năm sau khi chia tay Julie, ông có cuộc hôn nhân chính thức với hoa khôi Mỹ Hà từ năm 1984 đến 2002, cuộc hôn nhân kéo dài 18 năm và có hai người con gái.[6] Theo lời ông kể, bà Mỹ Hà là người mê cờ bạc, khiến ông phải cầm cố gia sản nhiều lần để trả nợ[7], cuối cùng, "lấy nhau không phải vì tiền mà lại xa nhau vì đồng tiền đỏ đen"[6]. Cuộc hôn nhân thứ ba và cuối cùng của ông với ca sĩ Yến Xuân, vào năm 57 tuổi, năm 2007[11], thì chỉ kéo dài được 2 năm[6][7][12].

Duy Quang có 3 người con gái: Phạm Ly Lan (với Julie), Phạm Mỹ An và Phạm Mỹ Kim (với Mỹ Hà)